Integration of multiple sensor modalities and deep learning into Simultaneous Localization And Mapping (SLAM) systems are areas of significant interest in current research. Multi-modality is a stepping stone towards achieving robustness in challenging environments and interoperability of heterogeneous multi-robot systems with varying sensor setups. With maplab 2.0, we provide a versatile open-source platform that facilitates developing, testing, and integrating new modules and features into a fully-fledged SLAM system. Through extensive experiments, we show that maplab 2.0's accuracy is comparable to the state-of-the-art on the HILTI 2021 benchmark. Additionally, we showcase the flexibility of our system with three use cases: i) large-scale (approx. 10 km) multi-robot multi-session (23 missions) mapping, ii) integration of non-visual landmarks, and iii) incorporating a semantic object-based loop closure module into the mapping framework. The code is available open-source at https://github.com/ethz-asl/maplab.
translated by 谷歌翻译
许多应用程序要求机器人在与人类或其他机器人等其他代理商共享的环境中运行。但是，这种共享场景通常会受到不同种类的长期语义场景的变化。因此，建模和预测这种变化的能力对于机器人自主权至关重要。在这项工作中，我们将语义场景变异性估计的任务形式化，并确定语义场景的三个主要品种变化：对象的位置，其语义状态或整个场景的组成。为了表示这种可变性，我们提出了可变场景图（VSG），该图表图具有可变性属性的现有3D场景图（SG）表示，代表离散长期变更事件的可能性。我们提出了一种新颖的方法Deltavsg，以估计以监督方式估计VSG的可变性。我们在3RSCAN长期数据集上评估了我们的方法，显示了这项新型任务对现有方法的显着改进。我们的方法Deltavsg的精度为72.2％，召回66.8％，通常模仿人类关于室内场景如何随着时间变化的直觉。我们进一步显示了VSG预测在主动机器人变更检测任务中的实用性，与场景变化 - 诺瓦尔计划者相比，任务完成加快了62.4％。我们将代码作为开源。
translated by 谷歌翻译
对未知环境的探索是机器人技术中的一个基本问题，也是自治系统应用中的重要组成部分。探索未知环境的一个主要挑战是，机器人必须计划每个时间步骤可用的有限信息。尽管大多数当前的方法都依靠启发式方法和假设来根据这些部分观察来规划路径，但我们提出了一种新颖的方式，通过利用3D场景完成来将深度学习整合到探索中，以获取知情，安全，可解释的探索映射和计划。我们的方法，SC-explorer，使用新型的增量融合机制和新提出的分层多层映射方法结合了场景的完成，以确保机器人的安全性和效率。我们进一步提出了一种信息性的路径计划方法，利用了我们的映射方法的功能和新颖的场景完整感知信息增益。虽然我们的方法通常适用，但我们在微型航空车辆（MAV）的用例中进行了评估。我们仅使用移动硬件彻底研究了高保真仿真实验中的每个组件，并证明我们的方法可以使环境的覆盖范围增加73％，而不是基线，而MAP准确性的降低仅最少。即使最终地图中未包含场景的完成，我们也可以证明它们可以用于指导机器人选择更多信息的路径，从而加快机器人传感器的测量值35％。我们将我们的方法作为开源。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
为了在人类环境中运作，机器人的语义感知必须克服开放世界的挑战，例如新颖的对象和域间隙。因此，在此类环境中的自主部署要求机器人在不监督的情况下更新其知识和学习。我们研究机器人如何在探索未知环境时如何自主发现新颖的语义类别并提高已知类别的准确性。为此，我们开发了一个通用框架来映射和聚类，然后使用该框架来生成自我监督的学习信号以更新语义分割模型。特别是，我们展示了如何在部署过程中优化聚类参数，并且与先前的工作相比，多种观察方式的融合可以改善新颖的对象发现。
translated by 谷歌翻译
当前的全球本地化描述符通常在巨大的观点或外观变化下挣扎。一种可能的改进是添加有关语义对象的拓扑信息。然而，手工制作的拓扑描述符很难调节，并且对环境噪音，剧烈的透视变化，对象阻塞或错误进行错误而不强大。为了解决这个问题，我们通过将语义有意义的对象星座建模为图形，并使用深图卷积网络将星座映射到描述符来制定基于学习的方法。我们证明了我们深知的星座描述符（描述）在两个现实世界数据集上的有效性。尽管对随机生成的仿真数据集进行了描述培训，但它在现实世界数据集上显示出良好的概括能力。描述还优于最先进的和手工制作的星座描述符在全球本地化上，并且对不同类型的噪声非常有力。该代码可在https://github.com/ethz-asl/descriptellation上公开获得。
translated by 谷歌翻译
这项工作提出了一种体现的代理，可以以完全自主的方式将其语义分割网络调整到新的室内环境中。由于语义分割网络无法很好地推广到看不见的环境，因此代理会收集新环境的图像，然后将其用于自我监督的域适应性。我们将其作为一个有益的路径计划问题提出，并提出一种新的信息增益，该信息利用从语义模型中提取的不确定性来安全地收集相关数据。随着域的适应性的进展，这些不确定性会随着时间的推移而发生变化，并且我们系统的快速学习反馈驱使代理收集不同的数据。实验表明，与勘探目标相比，我们的方法更快地适应了新环境，最终性能更高，并且可以成功部署到物理机器人上的现实环境中。
translated by 谷歌翻译
语义分段网络通常在部署期间预先培训并且未更新。因此，如果训练数据的分布偏离机器人操作期间遇到的那个，则通常发生错误分类。我们建议通过将神经网络调整到机器人在部署期间的环境中来缓解此问题，而无需对外监督。利用互补数据表示，通过概率地累积在体积3D地图中的连续2D语义预测来生成监督信号。然后，我们在累积的语义地图的渲染上重新培训网络，有效地解决歧义并通过3D表示来执行多视图一致性。为了在进行网络适应时保留先前学习的知识，我们采用了基于体验重放的持续学习策略。通过广泛的实验评估，我们对Scannet DataSet和RGB-D传感器记录的内部数据显示了对现实世界室内场景的成功适应。与固定的预训练的神经网络相比，我们的方法平均增加了分割性能11.8％，同时有效地保留了从预训练前数据集的知识。
translated by 谷歌翻译
新的AUV技术的发展增加了AUV可以应对的任务范围及其运营的长度。结果，AUV能够处理高度复杂的操作。但是，这些任务并不容易适合将任务定义为一系列预先计划的航路点的传统方法，因为不可能事先知道，在任务过程中可能发生的一切。这会导致操作员的期望和实际操作绩效之间存在差距。因此，这可能会在操作员和AUV之间产生降低的信任程度，从而导致不必要的任务中断。为了弥合机器人行为和运营商的期望之间的这一差距，这项工作旨在提供一个框架，以易于理解的方式解释任务期间自动驾驶汽车采取的决策和行动。此外，目的是拥有一个自治性系统，可以在任何自治体系结构之上添加为附加层。为了使该方法适用于配备不同自主权的不同自主系统，这项工作将自主权的内部运作与决策点以及应用知识蒸馏的由此产生的执行动作。最后，为了以更自然的方式向操作员介绍解释，蒸馏决策树的输出与自然语言解释相结合，并将其报告给操作员作为句子。因此，在解释管道的末尾添加了一个称为Concept2Text生成的附加步骤。
translated by 谷歌翻译
前列腺癌是全世界男性癌症第二大的癌症和第六主要原因。专家在诊断前列腺癌期间面临的主要问题是含有肿瘤组织的感兴趣区域（ROI）的定位。目前，在大多数情况下，该ROI的分割是由专家医生手动进行的，但是该程序受到某些患者的检测率低（约27-44％）或过度诊断的困扰。因此，几项研究工作解决了从磁共振图像中自动分割和提取ROI特征的挑战，因为此过程可以极大地促进许多诊断和治疗应用。然而，缺乏明确的前列腺边界，前列腺组织固有的异质性以及多种前列腺形状的多样性使这一过程非常难以自动化。在这项工作中，通过获得的MRI图像数据集对六个深度学习模型进行了培训和分析。来自Dijon中心的医院和Catalunya大学。我们使用分类跨环膜损失函数进行了多种深度学习模型（即U-NET，注意U-NET，密度密度，R2U-NET和R2U-NET）的比较。使用通常用于图像分割的三个指标进行分析：骰子分数，JACCARD索引和均方误差。为我们提供最佳结果分割的模型是R2U-NET，骰子，Jaccard和平均平方误差分别达到0.869、0.782和0.00013。
translated by 谷歌翻译